iT邦幫忙

2026 iThome 鐵人賽

DAY 22
0
佛心分享-SideProject30

30 天實戰筆記:一個資料科學家用 Side Project 學會 AI Agents 的過程系列 第 22 篇

Day 22|從事件到儀表板:替產品定義主要、次要與護欄指標

  • 分享至 

  • xImage
  •  

上一篇我們談到怎麼監控網站有沒有正常運作;更早之前,我們也用事件紀錄,還原過訪客在網站上卡住的過程。不過網站上線幾週之後,我們會開始想知道更大的問題:訪客進到網站之後,有沒有找到值得了解的品牌?他們在網站上的體驗好不好?這些事情又要怎麼量化成看得懂的數字?這篇會先從要記錄哪些事件開始,接著把事件整理成主要、次要與護欄指標,最後再把這些指標放進一張產品儀表板。

事件:記下使用者在網站上做了什麼

要知道訪客在網站上的體驗如何,第一步是先把他們做了什麼記錄下來,這些紀錄就叫做事件(event)。不過我們不需要一開始就把每一個按鈕都記下來,比較好的做法是先想像一次理想的造訪會經過哪些步驟,再從中挑出幾個關鍵的動作來記錄。

舉例來說,假設有一位訪客想找皮件送朋友,他在網站上搜尋「皮件」,從結果點進品牌 A 的頁面,翻了幾張作品照片,最後點進品牌官網。這一次造訪就可以拆成下面四個事件:

  • 搜尋品牌:brand_search_executed
  • 打開品牌頁:brand_detail_viewed
  • 與頁面互動:brand_detail_engaged
  • 前往品牌網站:external_link_clicked

https://ithelp.ithome.com.tw/upload/images/20261006/201842469gi3NMa2fc.png

你可能會問,為什麼我們需要特別記錄 brand_detail_engaged 呢?從互動的角度來說,單純打開頁面不代表訪客真的跟頁面有互動。打開兩秒就離開的造訪,和看完相簿才離開的造訪,在使用者體驗上有很大的差異,因此我們需要另外用一個事件來記錄。

這裡你可能會發現一個難題:我們得事先定義好所有的事件,確認前端程式碼能捕捉到這些事件,還要確認資料經過轉換後,能存進資料庫、變成可以運用的形式。很多時候,我們想分析某個使用者流程,才發現當初沒有收集到需要的事件,分析起來就很困難。目前有些分析工具,例如 PostHog,提供自動收集(autocapture)的功能,會自動記錄所有點擊,很適合剛上線時用來探索訪客都在點什麼,之後再根據這些紀錄,進一步定義出精確的事件。

指標:把事件變成可以追蹤的數字

當使用者點擊一個頁面我們的網站會紀錄一個「點擊」的事件,但這個事件資料本身很難被拿來應用,實務上我們會針對這些事件進行加總並定義出不同的指標,後續根據這些指標的變化來進行量化分析。

https://ithelp.ithome.com.tw/upload/images/20261006/20184246BsLLI5FoBh.png

主要指標與次要指標:從網站的目標出發

在決定要追蹤哪些指標之前,我們得先想清楚一件事:這個網站存在的目的是什麼?以我們的選物網站來說,目的很單純,就是讓訪客發現值得認識的台灣品牌,再把他們帶到品牌自己的網站。訪客找到了喜歡的品牌,品牌也多了一位真的有興趣的客人,這才是網站真正創造出來的價值,所以我們挑的指標也要能反映這件事。

很多人第一個想到的會是瀏覽量或點擊數,畢竟這兩個數字最容易取得,看起來也最直觀。不過它們有個問題:只要流量變多,這兩個數字就會跟著往上,卻沒辦法告訴我們訪客在點出去之前,到底有沒有好好看過品牌頁。一個人點進來四秒就離開,跟一個人把介紹讀完才去官網,在點擊數上看起來是一模一樣的。

因此我們選了「有效導流的造訪」當作主要指標。只要訪客在同一次造訪裡,先和某個品牌的頁面有過互動,接著又前往這個品牌的網站,我們就把它算成一次有效導流;就算他在同一次造訪中對同一個品牌點了好幾次,也只算一次。除了看次數,我們也會看它在所有瀏覽過品牌的造訪中佔了多少比例。我們每週看一次最近 28 天的數字,計算時會先把測試帳號和正式上線前的資料排除掉。

不過主要指標只能告訴我們網站整體表現得好不好,當數字往下掉的時候,光看它並不知道問題出在哪裡。這時候就要靠次要指標,把主要指標拆成幾個我們實際可以動手改善的環節。以我們的網站來說,會看這三個:

  • 品牌頁互動率:在打開品牌頁的造訪中,有多少比例和頁面有互動。如果這個比例變低,通常要先回頭檢查品牌頁的介紹和照片是不是不夠吸引人。
  • 搜尋成功率:所有搜尋裡,有找到結果的比例。如果這個比例下降,可以先看看大家搜了哪些找不到結果的關鍵字,再判斷是網站本來就缺這類品牌,還是明明有,卻沒被搜尋找出來。
  • 品牌覆蓋率:在所有上架的品牌中,最近 28 天至少帶過一位訪客到官網的品牌佔多少比例。如果比例偏低,代表大部分的品牌其實沒什麼人看到,這時候可能就要調整列表或推薦的方式。

簡單來說,主要指標讓我們知道網站整體表現得如何,次要指標則告訴我們下一步該從哪裡改起。所以平常在討論接下來要做什麼的時候,我們其實最常看的是次要指標。

護欄指標:別為了數字犧牲體驗

主要指標和次要指標看的,都是好的事情有沒有變多。但只盯著這些數字,很容易忽略另一面:在數字變好的同時,有沒有什麼正在變壞?護欄指標(guardrail metric)就是用來看這件事的。以訂閱制的服務或 App 來說,常見的護欄指標是退訂率、解除安裝率:就算新用戶增加了,退訂的人如果也跟著變多,就不能說產品變好了。

我們的網站沒有訂閱,也不用安裝,所以護欄指標看的是兩件事:導流的品質,以及使用體驗。導流品質的部分,是要避免有效導流的數字被灌水:

  • 空轉導流:所有導流中,在品牌頁停留不到 15 秒就離開的比例。訪客還來不及判斷就離開,不能算是成功。
  • 一次點出很多品牌:同一次造訪點出 3 個以上不同品牌的比例。這比較像訪客拿不定主意,不代表網站一次成功推薦了好幾個品牌。
  • 每次導流前看了幾個品牌頁:這個數字上升,有效導流卻沒有增加,代表訪客要翻更多頁才找得到想要的品牌,品牌頁可能沒有回答他的問題。

使用體驗的部分,像是搜尋要等多久,以及有多少請求因為超過頻率限制(rate limiting,限制同一個來源在短時間內的請求次數)而被擋下來。頻率限制原本是為了擋掉惡意的大量請求,如果設得太嚴,一般訪客也會被擋在門外。這些數字上一篇的監控儀表板已經在看,產品儀表板只要挑一兩個最影響體驗的放進來。

看主要指標時,護欄指標要擺在旁邊一起看:主要指標上升,護欄指標卻變差,就不能算是進步。

https://ithelp.ithome.com.tw/upload/images/20261006/20184246xI7pUfpVQ9.png

產品儀表板:把指標放在同一個畫面

定義好指標之後,下一步就是把它們放到同一個畫面裡,方便我們定期查看。上一篇的監控儀表板,看的是網站有沒有正常運作;這裡要做的產品儀表板,看的則是網站的成效。剛開始不需要放太多張圖,我們覺得下面這五張就很夠用了:

  • 主要指標:把有效導流的造訪畫成每週的趨勢圖,次數和比例放在一起看。
  • 漏斗:漏斗(funnel)會把一連串的步驟排在一起,讓我們看出每一步還有多少人繼續往下走。在我們的網站上,這幾個步驟依序是瀏覽品牌、打開品牌頁、與頁面互動,最後前往品牌網站。
  • 搜尋成功率:旁邊再附上最近搜不到結果的關鍵字,一眼就能看出網站還缺了什麼。
  • 護欄指標:把空轉導流和一次點出很多品牌的比例放在主要指標旁邊,一起對照著看。
  • 量測可信度:把流量分成真人、自動程式和我們自己測試的流量。我們就曾經遇過某個月的造訪量突然暴增,而且幾乎每次造訪都只看了一頁,比較像是自動程式,而不是真的有人來逛。如果沒有這張圖,我們很可能會誤以為網站突然爆紅了。

https://ithelp.ithome.com.tw/upload/images/20261006/20184246Hw7ot7Kdmx.png

讀這張儀表板的時候,有幾件事要特別注意:

  • 先看次數,再看比例:上一篇提到,樣本少的時候 p95 很容易大幅跳動,比例其實也一樣。假設真正的比例是 20%,如果只有 30 次造訪,算出來的結果可能會差到正負 14 個百分點;要累積到 250 次左右,誤差才會縮小到正負 5 個百分點。所以我們把大約 250 筆當作門檻,在那之前只看次數,不拿比例來做決定。
  • 跟自己的過去比較:我們拿過去 8 週的中位數當作比較基準,而不是去跟網路上的產業平均比,因為很難找到同類型、算法也一致的網站數字來做比較。
  • 把自己人排除掉:測試帳號、我們自己的操作,還有正式上線前的資料都要排除。不然上線前我們自己點來點去的紀錄混在裡面,會讓真正訪客的表現看起來像是大幅下滑。
  • 每張圖都附上定義:在每張圖旁邊寫清楚這個數字是怎麼算的、時間範圍是多久,這樣過了幾週再回來看,才不會忘記它到底代表什麼。

我們是用 PostHog 來建這張儀表板的:趨勢圖和漏斗可以直接用事件來設定,條件比較複雜的主要指標,則是另外寫 SQL 查詢來計算。如果你用的是 Google Analytics 4(GA4),也一樣做得到,只要送出自訂的事件,再把「前往品牌網站」設成關鍵事件(key event)就可以了。這兩套工具選一套好好接起來就夠了,兩套同時裝,數字反而常常對不起來。

有了這張儀表板,我們每週只要花一點時間看一次,就能掌握網站的成效;數字有變化的時候,也知道該從哪一步開始查起。不過這些指標只看得到已經進到網站的人。下一篇我們就把視角拉到網站外面,看看搜尋引擎和 AI 答案系統是怎麼發現、又是怎麼理解網站上的品牌和文章的。


上一篇
Day 21|網站上線之後:日誌、儀表板與告警的監控入門
下一篇
Day 23|網站上線了,Google 和 ChatGPT 找得到嗎?SEO 與 AEO 入門
系列文
30 天實戰筆記:一個資料科學家用 Side Project 學會 AI Agents 的過程 共 23 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言